⋇⋉⋈⋊ 系统构建 ⋉⋈⋊⋇

• Build Linux 6.6 - RISCV32/RISCV64/ARM32/ARM64/I386/X86_64

• BiscuitOS 用户手册

• Build Upstream Linux from Linus Torvalds

• Build Linux 0.X

• Build Linux 1.X

• Build Linux 2.X

• Build Linux 3.X

• Build Linux 4.X

• Build Linux 5.X

• BiscuitOS-Desktop GOKU

• Build BiscuitOS-Desktop

• Networking on BiscuitOS

• Other Operation System

  • Build Debian-0.91 on BiscuitOS

  • Build Apollo-11 on BiscuitOS

  • Build MIT XV6 on BiscuitOS

  • Build SerenityOS on BiscuitOS

• BiscuitOS on RaspberryPi

• BiscuitOS 社区技术论坛

• 问题反馈及留言

⋇⋉⋈⋊ BiscuitOS 社区订阅 ⋉⋈⋊⋇

• CACHE 实践专题(停止订阅)

• 内存屏障实践专题(停止订阅)

• 分页大专题(停止订阅)

⋇⋉⋈⋊ 内存管理 ⋉⋈⋊⋇

• 内存管理基础项目

• 内存大图开源项目

• 内存实践大专题项目

  • 内存管理之分页大专题

  • 内存管理之内存分配器大专题(Updating)

  • 内存管理之大页专题(Updating)

  • 内存管理之内存回收大专题(Updating)

  • 内存管理之内存故障大专题(Updating)

  • 内存管理之内存性能优化大专题(Updating)

  • 内存管理之异构内存大专题(Updating)

  • 内存管理之内存统计大专题(Updating)

  • 内存管理之虚拟化大专题(Updating)

  • 内存管理之虚拟地址空间大专题(Updating)

  • 内存管理之物理地址空间大专题(Updating)

• 内存流动项目

• 内存场景项目

• 内存学习方法论项目

• BiscuitOS 社区开源公开课

• 开源内存项目

  • Linux MMU History Project(停止支持)

  • 自己动手设计一个内存管理子系统 (ARM Architecture)(停止支持)

  • 自己动手设计一个内存管理子系统 (X86 Architecture)(停止支持)

  • 用户空间实现 Linux 内核分配器

• 内存管理落地实践项目

  • 基于分页机制构建一个简单的用户空间分配器项目(推荐)

  • 基于分页机制构建一个简单的内核空间分配器项目(推荐)

• BiscuitOS 社区经典讨论项目

  • 基于分页机制集中页表优化项目

⋇⋉⋈⋊ 内存管理 -- 分页机制篇 ⋉⋈⋊⋇

• 分页机制下的虚拟内存

  • 应用程序虚拟内存分配方式

    • PreAlloc 预分配机制

    • LazyAlloc 惰性分配机制

    • OnDemand 按需分配机制

  • 应用程序虚拟内存分类

    • 匿名内存: Anonymous Memory

    • 共享内存: Shared Memory

    • 文件映射内存: File-Mapped Memory(PageCACHE)

    • PFNMAP 映射内存

    • MMIO 映射内存

    • THP 透明大页内存

    • HugeTLB 大页内存

    • DAX-Mapping 映射内存

  • 内核虚拟地址空间

    • Linear Mapping Area on Paging

    • VMALLOC on Paging

    • MMIO 映射区 on Paging

    • Temporary Mapping Paging

    • Permanent Mapping with Paging

    • Early IO/RSVD-MEM with Paging

    • PFN Direct Mapping(PFNMAP) on Paging

    • FIXMAP on Paging

  • 分页机制相关的技术

    • ZERO PAGE 机制

    • ZERO COPY 机制

    • 逆向映射(Reverse-Mapping on Paging)

• 页表

  • Linux 页表

    • PGD(Page Global Directory)

    • P4D(Page 4th Directory)

    • PUD(Page Upper Directory)

    • PMD(Page Middle Directory)

    • PTE(Page Table Entry)

    • PGPROT(Page Table Attribute)

  • Intel® X86 架构页表

    • Intel® 32-Bit Paging Mode

    • Intel® 4-Level Paging Mode

    • Intel® 5-Level Paging Mode

    • Intel® PAT Mechanism

    • Intel® MTRRS Mechanism

    • Intel® Protection-Key Technology

  • ARM 架构页表(规划中)

  • RISCV 架构页表(规划中)

  • Page Table Attribute

    • PAGE_PRESENT

    • PAGE_USR

    • PAGE_RW

    • PAGE_ACCESSED

    • PAGE_DIRTY

    • PAGE_SOFT_DIRTY

    • PAGE_GLOBAL

    • PAGE_PAT/PAGE_PCD/PAGE_PWT

    • PAGE_PK

    • PAGE_NX

    • PAGE_UFFD_WP

    • PAGE_UFFD_TEST

    • PAGE_PSE

    • PAGE_SPECIAL

    • 用户进程与页表属性

    • 内核线程与页表属性

  • 页表查询(Consult)

    • ATPR(Apply To Page Range) Mechanism

    • FOLLOW USERSPACE PGTable(FUPT) Mechanism

    • PageWalk Mechanism

    • LOOKUP-ADDRESS(LKAD) Mechanism

    • VALLOC TO PAGE(VTP)

  • Copy-Page-Range(CPR) Technology

  • CPA(Change Page Attribute) Mechanism

  • User Maps Specific Physical Area(UMSPA)

  • PageFault 建立页表

  • PROC Interface

    • Clear Reference Mechanism

    • SMAPS Mechanism

    • Pagemap Mechanism

  • PTDUMP(PageTable Dump) Mechanism

  • FOLLOW-Page Technology

  • Page Table Tools

    • 使用内存流动工具调试缺页

    • PTDUMP DEBUGFS TOOLS

    • pmap

    • ptexplore

    • Kdump/Crash with PageFault

    • Kprobe

  • Page Table 相关研究

    • CONFIG_HIGHPTE 机制

    • PTI(Page Table Isolation) Mechanism

    • PAGETABLE ENTRY BAD

    • CONFIG_PAGE_TABLE_ISOLATION

    • ALLOC PAGETABLE TRACK

    • PTRACE

    • change_protection_range

    • PROTNONE 与 NUMA Balancing

• Page Fault Mechanism

  • 匿名内存(Anonymous Memory) 缺页

  • 共享内存(Shared Memory) 缺页

  • 文件映射(File-Mapped) 缺页

  • PFN-Mapped Memory(RSVDMEM) 缺页

  • HUGE PageFault

  • Hugetlb Memory 缺页

  • Kernel Address PageFault

  • PageFault on Architecture

    • Intel i386/X86 PageFault

    • ARM/AARCH PageFault(未来规划中)

    • RISCV PageFault(未来规划中)

  • PageFault Exception Reason

  • PageFault Handlers Reason

  • PageTable with PageFault

  • SWAP with PageFault

  • COW with PageFault

  • SegmentFault/SIG_BUS on PageFault

  • Migration with PageFault

  • MCE(UE) with PageFault

  • NUMA Balancing with PageFault

  • KSM with PageFault

  • Memory Compress/Decompress(ZSWAP) with PageFault

  • COPY-USER with PageFault

  • HMM 异构内存缺页(技术攻坚中)

  • IOMMU 缺页

  • PMEM DAX With PageFault

  • 虚拟化 EPT TDP PageFault

  • 逆向映射/反向映射(Reverse-Mapping)与缺页

  • STRUCT address_space 与缺页

  • Protection Key(PKRU) With PageFault

  • Userfaultfd(用户空间缺页)

  • MINIXFS 文件系统缺页

  • EXT2 文件系统缺页

  • EXT3 文件系统缺页

  • EXT4 文件系统缺页

  • VFAT 文件系统缺页

  • MSDOS 文件系统缺页

  • FAT 文件系统缺页

  • CRAMFS 文件系统缺页

  • BFS 文件系统缺页

  • JFFS2 文件系统缺页

  • UBIFS 文件系统缺页

  • SQUASHFS 文件系统缺页

  • BTRFS 文件系统缺页

  • REISERFS 文件系统缺页

  • JFS 文件系统缺页

  • XFS 文件系统缺页

  • GFS2 文件系统缺页

  • F2FS 文件系统缺页

  • TMPFS 文件系统缺页

  • Huge-Tmpfs 文件系统缺页

  • XFS DAX 缺页

  • PageFault 源码分析

• GUP(Get User Page) Mechanism

  • FAST/FAST-ONLY/LOOGTERM GUP

  • REMOTE GUP

  • PIN/UNPIN GUP

  • MM-POPULATE GUP

  • FAULT-IN GUP

⋇⋉⋈⋊ 内存管理 -- 内存分配器篇 ⋉⋈⋊⋇

• 内核空间分配器

  • Intel® X86 Architecture

    • X86_64 启动流程之内存初始化

    • Detecting Memory from CMOS [X86]

    • Detecting Memory from BDA [X86]

    • Detecting Memory from BIOS IVT [X86]

    • Detecting Memory from CMDLINE

    • E820 内存管理器 [X86]

    • Static Compile Memory Allocator

    • RESERVE_BRK Allocator [x86]

    • Early_Res Allocator [x86]

  • ARM Architecture(规划中)

  • RISCV Architecture(规划中)

  • Early IO/RSVD-MEM Allocator

  • Bootmem Allocator

  • MEMBLOCK Allocator

  • Buddy Memory Allocator

  • PCP Memory Allocator

  • PERCPU Memory Allocator

  • SLAB Memory Allocator

  • SLUB Memory Allocator

  • SLOB Memory Allocator

  • VMALLOC Memory Allocator

  • KMAP Memory Allocator

  • Fixmap Memory Allcator

  • CMA: Contiguous Memory Allocator

  • Permanent Mapping Memory Allocator

  • IOREMAP MMIO Memory Allocator

  • MEMREMAP Temporary Memory Allocator

  • MODULE Memory Allocator

  • DMA Memory Allocator

  • PMEM Memory Allocator

  • DMA-Pool Memory Allocator

  • ZSMALLOC Memory Allocator

• 用户空间分配器

  • GLIBC/LIBCL: malloc/mallopt

  • 堆分配器: BRK/SBRK

  • jemalloc

  • tcmalloc

  • ptmalloc

• 移植内核分配器到用户空间项目

  • 用户空间实现 MEMBLOCK 分配器项目

  • 用户空间实现 BUDDY 分配器项目

  • 用户空间实现 SLAB 分配器项目

• 内存分配器相关的技术

  • 各式各样的 STRUCT PAGE

  • NUMA

  • ZONE

⋇⋉⋈⋊ 内存管理 -- 大页内存篇 ⋉⋈⋊⋇

• HUGETLB 大页技术

• THP 透明大页技术

• VMALLOC 大页技术

• PFNMAP 大页技术

• MMIO 大页技术

• HUGEPD 大页技术

• 虚拟化大页技术

• 大页相关的技术

⋇⋉⋈⋊ 内存管理 -- 内存回收篇 ⋉⋈⋊⋇

• Memory Hotplug Mechanism

  • ACPI Memory Hotplug Technology

  • Boot-Time Memory Hotplug Technology

• LRU

• Memory Migration Mechanism

• Memory Reclaim Mechanism

• Memory Compact Mechanism

• Memory Swap Mechanism

  • Frontswap

  • SwapCgroup

  • SWAP-File

  • SWAP Slot

• Memory Shrink Mechanism

• Memory Scan Mechanism

• Memory Compress Mechanism[TODO]

  • ZSMALLOC Memory Allocator

  • ZPOOL Memory Allocator

  • ZBUD Memory Allocator

  • Z3FOLD Memory Allocator

⋇⋉⋈⋊ 内存管理 -- 内存故障篇 ⋉⋈⋊⋇

• Memory Diagnostic/Sanitizers Tools

  • Live/offline Crash Tools

  • Memory Statistical tools

  • GUN GCC Address/Memory/Leaks Sanitizers (ASAN)

  • KASAN/KMEM

  • Kmemleak

• 内存压测工具[TODO]

  • Intel MLC

  • memtest

  • RDT

• Memory BUG

  • Memory ERROR Collection

  • Memory UCE

  • OOM Mechanism

• Memory RAS[Updating]

  • MCELOG/mcelog-dev Mechanism

  • Memory UE/CE

  • Memory Hwpoison Inject

  • Page-Offline and Memory-Failure Mechanism

  • Failslab Mechanism

  • Memory-Failure Mechanism

  • Page isolation Technology

⋇⋉⋈⋊ 内存管理 -- 异构内存篇 ⋉⋈⋊⋇

• I/O Space: I/O Port

  • IO-Mapping

• MMIO: Memory Mapping IO

  • IOREMAP Mechanism

  • EARLY IOREMAP Mechanism

• PCI/PCIe Address Space

• DMA

  • Coherent DMA

  • Streaming DMA

• DMABUF

• DMA-Pool

• IOMMU

• HMM: 异构内存管理

  • HBM: High Bandwidth Memory

  • HDM: Host Manager Device Memory

  • GPU Memory

  • Remote Memory

• CXL: Compute Express Link

  • CXL.memory

  • CXL.cache

• PMEM: NVDIMEM

⋇⋉⋈⋊ 内存管理 -- 虚拟地址空间篇 ⋉⋈⋊⋇

Virtual Address Space

• Full Architecture 虚拟地址空间布局

  • Intel i386 虚拟地址空间布局

  • Intel X86/X64 虚拟地址空间布局

  • ARM32 虚拟地址空间布局

  • ARM64 虚拟地址空间布局

• 内核虚拟地址空间

  • 内核虚拟空间布局

  • 内核空间构建过程

  • 内核线程虚拟内存构建过程

• 用户进程虚拟地址空间

  • 用户空间布局

  • 用户进程虚拟地址空间构建过程

  • 堆: BRK

  • 栈: Stack

  • MMAP 映射区

  • 代码段 .text/.rotext

  • 数据段 .data/.rodata/.bss

• 虚拟地址空间技术

  • madvise/fmadvice: Memory Advise Mechanism

  • mlock: Virtual Memory Lock Mechanism

  • mprotect: Virtual Memory Protect Mechanism

  • maccess: Memory access control

  • Memory Policy Mechanism

  • Userspace and Kernel COPY Technology

⋇⋉⋈⋊ 内存管理 -- 内存硬件篇 ⋉⋈⋊⋇

• CPU 总线/Intel CPU 总线

• Intel X86 硬件架构

  • Intel 440FX

  • Intel Q35

• MMU 硬件架构

• 硬件存储子系统

• RAM

  • DRAM

  • NRAM

  • MRAM

• CACHE and Buffer System

  • Cache Technology 🙂

  • Translation-lookaside Buffer(TLB)

  • Paging-Structure CACHE

  • Global Page Mechanism

  • Store Buffer

  • Invalidate QUEUE

  • Memory Ordering

  • Memory Barriers Mechanism

  • Write Combining Buffer

  • Trace CACHE

• Register

  • 寄存器之函数参数约定

  • X86 Architecture Register

    • CPUID Register

    • MSR Register

Physical Address Space

• Address Space

  • X86: Real Mode Address Space (< 1 MiB)

  • i386/X86_64 Address Space Layout

  • 进程地址空间构建研究

• PHYSICAL MEMORY

  • OSMEM: OS Manager Memory

  • DEVMEM: Device Memory

  • RSVDMEM: System Reserved Memory

  • CMA: Contiguous Memory

  • DMA

  • SHMEM: SHARED MEMORY

  • KSM

  • READ-ONLY(RO) MEMORY

  • High-Memory

  • Memory-Pool

  • HUGE PAGE MEMORY

    • HUGETLB MEMORY

    • THP MEMORY

    • VMALLOC HUGE MEMORY

• I/O Space

  • IO-Mapping

• MMIO

  • PCIe BAR

  • Internal Register

• Physical Memory Topology

  • Memory Model

  • NUMA Topology

  • Memory Interleave Topology

  • Physical MEMORY ZONE

  • Physical Page/Frame

⋇⋉⋈⋊ 内存管理 -- 内存统计篇 ⋉⋈⋊⋇

• Memory Statistics Tools[TODO]

  • VMSTAT Mechanism

  • /proc/meminfo information

  • free tools

  • Memory Water-Line

⋇⋉⋈⋊ 内存管理 -- 内存虚拟化篇 ⋉⋈⋊⋇

• QEMU Memory Manager for Virtual machine

• PIO/MMIO Virtualize

• EPT Paging-Table Mechanism

⋇⋉⋈⋊ 内存管理 -- 其他篇 ⋉⋈⋊⋇

Backing-Device

• File Mapping Mechanism

• Page CACHE

• Buffer

• Readahead

• Backing-device WriteBack and mSync

• Page IO

• File Truncate Technology

• IO Access

  • Buffered IO

  • Direct IO

  • DAX IO

内存算法

• Interval Tree

• AUG RB-Tree

• Radix Tree

• Xarray

内存并行与同步机制

• 内存管理子系统锁机制

---

虚拟文件系统

• 系统调用

  • sys_open

  • sys_mmap/sys_mmap2

  • sys_munmap

  • sys_brk

• SYSCALL on Architecture

  • ARM32 架构中添加新的系统调用

  • ARM64 架构中添加新的系统调用

  • i386 架构中添加新的系统调用

  • X86_64 架构中添新的系统调用

  • RISCV32 架构中添新的系统调用

  • RISCV64 架构中添加新的系统调用

虚拟化

• Broiler

  • Broiler 中断虚拟化

  • Broiler PIO/MMIO 虚拟化

• 虚拟化实践

  • KVM on BiscuitOS (4KiB Page) [x86_64/i386]

  • KVM on BiscuitOS (2MiB HugePage) [x86_64]

  • KVM on BiscuitOS (1Gig HugePage) [x86_64]

  • KVM with Special MMAP on BiscuitOS [x86_64/i386]

  • QEMU-KVM on BiscuitOS (4KiB Page) [x86_64]

  • QEMU-KVM on BiscuitOS (2MiB HugePage) [x86_64]

  • QEMU-KVM on BiscuitOS (1Gig HugePage) [x86_64]

  • Native Linux KVM tool (kvmtool 4KiB Page) on BiscuitOS [x86_64]

  • Native Linux KVM tool (kvmtool 2MiB HugePage) on BiscuitOS [x86_64]

  • Native Linux KVM tool (kvmtool 1Gig HugePage) on BiscuitOS [x86_64]

• KVM

• 内存虚拟化

  • EPT

• CPU 虚拟化

• QEMU-KVM

  • QEMU Memory Manager for Virtual machine

• 设备虚拟化

  • 新增一个 PCIe 设备

  • 新增一个带 DMA 的 PCIe 设备

Basic Research

• Bit: bitmap/bitops/bitmask/bit find

• NUMA NODE/NODEMASK

• GNU 链接脚本

• Device Tree: DTS/DTB/FDT

• Language Practice on BiscuitOS

  • C Language: GNU C/C99/C89 on BiscuitOS

  • C++ Language: GNU CPP/C++ on BiscuitOS

  • Python: Python2.7 on BiscuitOS

  • Shell scripts: ash/bash on BiscuitOS

  • X86-64 AT&T Assembly and inline Assembly on BiscuitOS

  • i386 AT&T Assembly and inline Assembly on BiscuitOS

  • ARM AT&T Assembly and inline Assembly on BiscuitOS

  • ARM64 AT&T Assembly and inline Assembly on BiscuitOS

• 汇编

  • X86/i386/X64 汇编

  • ARM64 汇编

  • ARM Assembly

  • RISCV 汇编

  • 内嵌汇编

• 链表

  • Single list

  • Bidirect list

• 树

  • 二叉树

  • 2-3-4 树

  • 红黑树

  • Interval Tree

  • Radix Tree 基数树

• IDR: ID Radix

• IDA: ID allocator

• 锁/同步

  • atomic 原子操作

Linux Source Code list

• Linux 5.0 源码

• Linux 5.x 函数列表

Bootloader

• Uboot

  • Build BiscuitOS uboot-2020.04

  • Build BiscuitOS uboot-2019.07

  • Build BiscuitOS uboot-2018.03

  • Build BiscuitOS uboot-2017.01

  • Build BiscuitOS uboot-2016.09

  • Build BiscuitOS uboot-2015.07

  • Build BiscuitOS uboot-2014.07

  • 更多 BiscuitOS uboot 版本

• BIOS/seaBIOS

  • Build BiscuitOS seaBIOS

Architecture

• ARM

• ARM64

• X86

• RISCV-32

• RISCV-64

Enginerring Hardware Practice

• Build BiscuitOS on RaspberryPi 4B

• Build BiscuitOS on RaspberryPi 3B

• I2C

  • EEPROM AT24C08

  • Temperature LM75A

  • I/O Expander FPC8574

  • A/D D/A Coverter PCF8591

• PCIe

• CMA

• DMA

• MDIO/SMI/MIIM

  • MDIO

  • SMI

  • MIIM

• SPI

• CAN

• DTS

• IO 多路复用: Select/Poll/Epoll

Userland Develop

• 应用程序移植

• GNU 项目移植

• 动态库移植

• 静态块移植

• BiscuitOS 项目移植

• 游戏移植

  • Snake 贪吃蛇

  • 2048

  • tetris 俄罗斯方块

Debug Tools and Usermanual

• Linux 5.x ARM32 Debug Usermanual

• Linux 0.1x i386 Debug Usermanual

• Linux 内核开发工具合集

• perf: Linux 性能测试调试工具

• blktrace: Block IO 性能测试调试工具

• Linux 内核源码静态分析工具 sparse

• 系统调用调试建议

• 通过 Kernel 历史树实践内核建议

• 内核核心转储: Kdump with kexec and crash

My Hobbies

• ASCII Animation

• 小饼干，你看起来很好吃

---

Donation 🙂